─アドビPhotoshop─
「生成塗りつぶし」で文字を消す
従来からの機能でも消せなくはないが作業時間も短く、品質は高いものに
バレ消しの作業では、動画から任意のフレームを静止画書き出しして、それをPhotoshopに読み込んで映したくないものを分からないように消し、クリーンプレートを作成します。従来は、例えば広告を消してほしいと言われたときには、「コンテンツに応じた塗りつぶし」などを使って作業していましたが、消しきれなかったり、自分で描く必要がありました。今回の作例の場合でも、右上に掲載した写真の通り、縦の線が繋がらないなど不完全な結果になっていました。後で自分で描き足せば、一応それなりのものにはなるとは思いますが、面倒くさいです。
それに対し、最近追加された「生成塗りつぶし」を使うと、「生成」ボタンをクリックし、しばらく待つだけで右下の写真のような結果が生成されます。縦の線も残っていますし、変な影も出ていません。壁に埋め込まれた点々模様のキラキラも何となく残っています。これならそのまま使えます。それではPremiereから書き出した静止画をPhotpshopで加工する手順とポイントを紹介していきます。
【Premiere Pro】 静止画書き出し
消す対象のすべてが見えるフレームを選び、圧縮しない形式で保存
バレ消しの流れとして、まずクリーンプレートを作ります。「池袋駅 東口」の文字がない状態の静止画を一旦作ります。Premiere Proから任意の静止画を書き出しますが、どのフレームを書き出すかのポイントは、対象物が隠れていない場所を選ぶことです。人物が横切っている場面で書き出しても意味がありません。全体が映ってるフレームをキャプチャーしてください。
書き出しには「フレームを書き出し」を使い、ここではクリップの冒頭、最初のフレームを選んでいます。形式を選べますが、JPEGを選択すると圧縮がかかってしまい、元の動画の色からズレてしまう問題が発生するので、なるべく良い状態で保存したいので、私は「DPX」を使います。
One Point
素材はiPhoneで撮ったものなので、フレームレートが59.9312と特殊なものになっています。その場合は右クリックして「変更」＞「フッテージを変換」＞「フレームレート」の「フレームレートを指定」で「59.94」に戻してあげます。
【Photoshop】 生成塗りつぶし
「プロンプト」を入力せずに生成を実行する
書き出した静止画をPhotpshopで開きます。まず、消したい文字の全体を大雑把でいいので選択します。すると「生成塗りつぶし」のコンテキストタスクバーが画面上に表示されます。ここで「生成塗りつぶし」ボタンをクリックすると「生成したいものを入力してください。（任意）」というテキスト入力エリアが表示されるので、ここに「AIでこういうものを生成してほしい」という命令文（プロンプト）を打ち込みますが、バレ消しの場合はそれすらも必要はなく、「生成」ボタンを押すだけで、「生成中」となり、終了すると文字が消えてしまいます。
「バリエーション」から最適な生成画像を選択できる
「プロパティ」パネルにある「バリエーション」には、何パターンか違う模様のものが生成されています。この場合は微妙な違いですが、クリックして選択するだけで別のバリエーションを試すことができます。今回は消すだけだったので綺麗に消えてしまい、どれを選んでもいい結果になりましたが、最初に提示されたパターンが思ったような結果にならなくても、ここを見てもらえば解決するかもしれません。また、「これが気に入ったけど、もうちょっと細かく出力してほしい」というときには、「ディテールを向上」をクリックします。この作例の場合は、「このバリエーションは小さすぎるため、向上できません。」とエラーになりますが、何か物体を生成するときは役に立つ機能です。
「プロンプト」に入力されたテキストからAIが画像を生成
生成塗りつぶしでは、消すだけではなくて追加することもできます。試しに「たこ焼きの看板」と入力して「生成」してみると、意味不明な文字が書かれた看板が提示されました。このように、文字の生成には弱いところがあります。しかし看板らしきものが提示され、文字のパース感や色の馴染み方は、まるでそこに書いてあるかのようなものが生成されるので、自分の手で描くよりは良い結果のものが提示されていると思います。この画像に対してはそれほど有効ではありませんでしたが、場面によっては使える機能だと思います。
【Premiere Pro】 クリーンプレートを重ね、Dynamic LinkでAfter Effectsへ
バレ消ししたい動画と同じ長さに伸ばし、上のトラックに重ねる
結果が良ければPSD形式で保存してPremiere に戻り、生成したPSD素材を読み込みます。「レイヤーファイルの読み込み」では「すべてのレイヤーを統合」を選択して「OK」。元クリップの上のトラックに同じ長さで配置します。静止画なので動いてはいませんが、文字が消えた状態になります。今回の作例ではあえて手持ちで撮っているので、だいぶ揺れています。この微妙な動きに合わせて消した静止画を動かして重ねるために、After Effectsでトラッキング。さらに手前を横切る人物が隠れないようにマスクを作る作業を行います。ここでの連携ではDynamic Linkを使います。いろいろ言われている機能ではありますが、Premiere から直接After Effectsのほうにクリップを飛ばすことができるもので、とても便利です。
この際に注意が必要なのが、After Effects側で別のプロジェクトが開いてる状態でDynamic Linkを使ってしまうと、別のプロジェクトの中に新しいコンポジションとして入ってしまい、バグる可能性が高くなってしまいますので一旦プロジェクトは閉じた状態でDynamic Linkを実行し、その際に新しいプロジェクトを作ります。
するとPremiere 上のタイムラインのクリップは「リンクコンポ」というひとつのクリップ表示になり、After Effectsのコンポクリップに置き換わります。After Effects上は、先程のPremiere のタイムラインと同じ状態で、レイヤーが重なって表示されています。ここからの作業の多くは、AIを使ってどうこうというよりは、手動と気合で頑張るという話になっていきます。
─アドビAfter Effects─
「トラッキング」してカメラの動きを適用
トラッキングしてクリーンプレートに適用
微妙に揺れる元動画に合わせてPSDの静止画クリップを動かす
After Effectsではまず最初に「トラッキング」を実行する必要があります。AIはまだここまで到達しておりません。上のPSDのレイヤーを非表示にして、元になっている動画クリップのレイヤーを選択したら、「トラッカー」パネルの「トラック」をクリックし、トラックポイントを表示します。バレ消しの場合、きちんとトラッキングできていないとズレてしまうので、トラッキングポイントをどこにするかが重要になります。
この作例の場合、赤い点々を指定できたら都合の良いトラッキングポイントになったのですが、人が前を横切る関係上、被さって見えなくなるフレームがあります。そうするとトラッキングができなくなってしまうので、今回は左上の輝度差が大きい白と黒の部分を狙ってトラッキングすることにします。ポイントを決めたら「分析」の再生ボタンをクリック。順方向と逆方向が可能なので、時間インジケーターの位置はどこからでも実行可能です。
分析が済んだら、次に「ターゲットを設定」ボタンで「ターゲット」設定を表示し、トラッキングを結果をどのレイヤーに適用するかを設定します。ここでは、先程作ったPSDのレイヤーを指定して「OK」します。後は「適用」を押すだけです。「モーショントラッカーの適用オプション」が開くので、「次の軸に適用」で「XおよびY」を選んで「OK」します。
ONE POINT
合成するレイヤーの位置合わせ
トラッキングで位置や向きが変わったPSDのクリップを元動画に合わせる
PSDのレイヤーを表示すると、トラッキングポイントを設定した位置にクリップのアンカーポイントが合わさるため、おかしな位置に重なっていますが、一旦これで再生してみると、カメラの動きに沿って動くのを確認できます。この画像はPremiere から静止画出力する時に、一番最初の頭のフレームで書き出していますので、冒頭部分でアンカーポイントを修正して同ポジを取ります。
この時、目見当で位置決めをする方が多いと思いますが、便利な方法を紹介します。まず、PSDのレイヤーの「描画モード」を「通常」から「差」に変更します。位置を決めている最中は変な色になっていますが、ピッタリ同じ位置に来ると差がなくなるので真っ黒になり、位置を客観的に決められます。消してある文字だけが綺麗に光っている状態になります。これで、最初の位置で同ポジが取れたわけですが、こんな感じでカメラの動きに合い、冒頭で同ポジが取れていれば、あとは消したい部分だけマスクをかいてあげれば合成部分だけが切り抜かれます。
トラブルシューティング
● 重ねるPSDクリップの色域を動画に合わせる。
「差」で合成しても真っ黒にならない場合は色域が合っていない状態。PSDクリップを右クリックして「フッテージを変換」＞「メイン」を実行します。「フッテージを変換」画面が開くので、「カラー」タブを選択。現在の「メディアカラースペースを上書き」が「埋め込まれたプロファイル」になっているので、現在のシーケンス設定に合わせる。この作例はRec.704、ガンマ2.4で作業しているので、それに合わせて「Rec.704 Gamma 2.4」を選択。すると色が変わらなくなる。動画と合成する静止画の色域がズレている場合は合わせること。
「コーナーピン」で位置を微調整
再生してズレが気になったところはキーフレームを使って調整する
再生して確認したとき、少し元画像の動きに対しズレが生じた場合は、「エフェクト」＞「ディストーション」＞「トランスフォーム」や、同じく「ディストーション」にある「コーナーピン」を使い、キーフレームを打って細かく修正します。これはサンプリングするフレームによって結果が異なりますので、上手くいここともあれば、ややこしいことになることもあります。「トランスフォーム」では「位置」を使い、カメラが大きく動くところでキーフレームを打って微調整します。同様に最後のフレームでも位置を合わせます。それでもズレが修正できない場合は「コーナーピン」を使います。
バレ消しの場合、消すまではスムーズですが、このように合わせにくい素材に出くわしてしまうと、かなり泥臭い作業になります。コーナーピンで調整する場合も、合成モードを「差」にして作業するとピタッと来たときに黒くなってくれるので、目安になります。
─アドビ After Effects─
「ロトブラシ3.0」でマスクを作成
ブラシでなぞるだけで高精度にマスキングし人物の切り抜きでも時短できる
この作例の場合、重ねたレイヤーに隠れてしまうところがありますので、これを修正していきます。この状態で既に文字は全部消えているので、あとは前をシャッターする人が前面に出るようにします。まず、下画にしていた元の動画レイヤーをコピーして、PSDのレイヤーの上に重ねます。
横切る時間分だけサンドしてあげればいいので、必要最低限の範囲だけ重なるようにトリミングして、レンダリングの負荷を下げておきます。
マスクを切る作業に使用するのが、第2のAI「ロトブラシツール」です。ロトブラシで画面上をなぞると、その部分のマスクをAfter Effects内で自動生成。描画するだけでマスクする境界線を分析し、選択してくれます。注意が必要なのは「バージョン」です。「1.0（クラシック）」、「2.0」、「3.0」を選択できますが、「3.0」を使わないと高い精度で作業できません。それでも完全に抜けない部分が出てくるので調整が必要になりますが、ラフに塗って、消して、サクサク進められるので私は愛用しています。
「ロトブラシ 3 .0」で通行人をマスキング
マスクしたい部分をなぞるだけで自動的に境界線を認識
上に重ねたレイヤーをダブルクリックしてレイヤーパネルで開き、「ロトブラシツール」を選択します。マスクを設定したい部分をロトブラシでドラッグして選択範囲を決め、意図しない部分が選択されたらoption/Altキーを押しながらドラッグして削除します。このクリップは夜の素材なので、色の差があまりなく難しい素材ですが、ブラシをなぞるだけで、人物のシルエットに選択範囲がどんどん吸着してくれます。
注意点はこのクリップの一番頭のフレームでロトブラシの作業を行うことです。この作業に関しては、描き始めたフレームの後方部分を順方向に生成するために、クリップの途中から描いてしまうと、それより前方に直した箇所が自動的に反映されず、一番最初のフレームである程度形を作ってあげないと、修正時にとても不便です。
フレームでの指定作業が済んだら、再生してあげるとその以後のフレームに対しても勝手に吸着していきます。
トラブルシューティング
● コンポジション設定とクリップのフレームレートを一致させる
ロトブラシを使用した際に「フレームレートが一致しないか、フィールドを含むフッテージが見つかりました。最適なロトブラシとエッジを調整の効果を得るには、レイヤーソースに一致するように」というエラーが出たら、コンポジション設定やクリップのフレームレートを見直して、元クリップのフレームレートに合わせる。放送用で29.97のフレームレート、配信用でオリジナルフレームレートを使いたいという場合など、After Effectsのコンポジション設定はオリジナルフレームレートに合わせる。Premiere の再生でカクつく原因になってしまう。
「ロトブラシとエッジの調整」で微調整
再生しながら気になる部分を修正してクオリティを上げる
合成結果はコンポジションパネルに戻り、合体した映像を再生すると確認できます。この作例では一発でいい感じに合成されていましたが、一部、元画像の光が漏れて光っている部分がありました。その場合はレイヤーパネルに戻り、ブラシのサイズを小さくして原因になっている部分を除外してあげると消えてくれます。
また、境界線がはっきりしている部分や完全に除外できていない部分はエフェクトコントロールパネルにある「ロトブラシとエッジの調整」の項目で調整することができます。このとき、「アルファの表示切り替え」や「アルファオーバーレイの表示の切り替え」など表示モードを切り替えると作業しやすくなると思います。「エッジをシフト」を使うとエッジを太らせたり、細くしたりできます。太くすることはほとんどありませんが、少し細くしてあげると内側に食い込んでくれるので、ボケている映像をマスクするときは少しだけ食わせたほうが綺麗になます。
「エッジのガタつき」は、キレイに切り取られずにチラチラしてしまうときに入れてあげると効果的ですが、入れ過ぎると形が変わってしまうので注意が必要です。50％くらいまでなら入れることもあります。
また、人物の場合は動いているので「モーションブラーを使用」にチェックを入れてあげると、ボケに合わせてマスクもボケてくれるのでありがたい機能です。光の漏れが気になるときは、「エッジカラーを除去」にチェックを入れます。これで、一気にクオリティが上がっていくと思います。
トラブルシューティング
● 揺れる女性の髪を綺麗に抜く方法
女性の場合は髪の毛が大きく動くこともある。そのときに使えるのが、先程選んだロトブラシのボタンを長押しすると表示される「エッジを調整ツール」。エッジをなぞって調整する。頭が削れてしまうこともありますが、その場合は「エッジマットを調整」＞「コントラスト」を少し上げたり、「エッジのガタつき」を「詳細」に変更し、「エッジをシフト」で戻す。大きく削れているようであれば、「エッジを調整」を描いた場所まで戻り、自分が描いたものを消してあげると髪の毛感が戻り、頭っぽくなってくる。
「フリーズ」を実行
Premiereでスムーズに再生できるようにキャッシュをとる
このままではPremiere に戻っても再生されないので、ここで「フリーズ（ロトブラシとエッジを調整の生成をキャッシュしてロック）」を実行します。これは生成したマスクのキャッシュを取る機能です。「ロトブラシとエッジを調整」画面が表示されるので、処理が完了するのを待ちます。調整するクリップが長ければ長いほど、キャッシュを取るのに時間がかかってしまうので、先程トリミングして必要最低限の部分だけにしたのもこの理由からです。
フリーズに関しては、私がロトブラシを使っていく中で見つけたやり方なので、もしかしたらあまりよろしくないことなのかもしれません。しかしながら、一度キャッシュを取ってあげると、再生する度に生成されないので、少し重さは残りますが、エフェクトコントロールでの調整もやりやすくなります。
これで消し作業は一通り終了です。プロジェクトを保存してPremiereに戻ると、After Effectsでの作業が反映されています。そのまま再生してもカクカクしてしまうので、必要ならレンダリングして確認します。レンダリングすればスムーズなプレビューが可能です。
